The understanding capabilities of current state-of-the-art 3D models are limited by datasets with a small number of annotated data and a pre-defined set of categories. In its 2D counterpart, recent advances have shown that similar problems can be significantly alleviated by employing knowledge from other modalities, such as language. Inspired by this, leveraging multimodal information for 3D modality could be promising to improve 3D understanding under the restricted data regime, but this line of research is not well studied. Therefore, we introduce ULIP to learn a unified representation of image, text, and 3D point cloud by pre-training with object triplets from the three modalities. To overcome the shortage of training triplets, ULIP leverages a pre-trained vision-language model that has already learned a common visual and textual space by training with massive image-text pairs. Then, ULIP learns a 3D representation space aligned with the common image-text space, using a small number of automatically synthesized triplets. ULIP is agnostic to 3D backbone networks and can easily be integrated into any 3D architecture. Experiments show that ULIP effectively improves the performance of multiple recent 3D backbones by simply pre-training them on ShapeNet55 using our framework, achieving state-of-the-art performance in both standard 3D classification and zero-shot 3D classification on ModelNet40 and ScanObjectNN. ULIP also improves the performance of PointMLP by around 3% in 3D classification on ScanObjectNN, and outperforms PointCLIP by 28.8% on top-1 accuracy for zero-shot 3D classification on ModelNet40. Our code and pre-trained models will be released.

客户评论通常包含有关一个人在线购物体验的大量信息。尽管积极的评论对商店有益，但负面评论将在很大程度上影响消费者的决定，并可能导致销售下降。因此，仔细和有说服力地回答每个负面评论并最大程度地减少其不利影响至关重要。最近的研究考虑利用生成模型来帮助卖家做出回应。但是，此问题并不深入，因为评论可能包含问题的多个方面，这些方面应相应和有说服力地解决。在这项工作中，我们为有说服力的响应生成提出了一个多源多相关生成模型。提出的模型适当地获得和利用了各种信息来源，以产生更有信息和有说服力的响应。提出了一个多方面的细心网络，以自动参与审查中的不同方面，并确保解决大多数问题。在两个现实世界数据集上进行的广泛实验表明，我们的方法优于最先进的方法和在线测试，这证明我们的部署系统大大提高了商店处理负面评论的效率。

尽管条件变异自动编码器（CVAE）模型比传统的SEQ2SEQ模型可以产生更多的多样化响应，但响应通常与输入词的相关性低或与问题不合逻辑。进行因果分析以研究背后的原因，并提供了一种寻找调解人并减轻对话中混杂偏见的方法。具体而言，我们建议预测调解人，以保留相关信息，并自动将调解人纳入生成过程中。此外，动态主题图指导条件变异自动编码器（TGG-CVAE）模型用于补充语义空间并减少响应中的混杂偏置。广泛的实验表明，所提出的模型能够产生相关和信息性的响应，并且在自动指标和人类评估方面优于最先进的响应。

视频显着对象检测模型在像素密集注释上训练有素的训练有素，已经达到了出色的性能，但获得像素逐像素注释的数据集很费力。尚未探索几项作品，试图使用涂鸦注释来缓解这个问题，但是尚未探讨点监督作为一种更节省劳动的注释方法（即使是对密集预测的手动注释方法中最多的劳动方法）。在本文中，我们提出了一个基于点监督的强基线模型。为了使用时间信息来推断显着性图，我们分别从短期和长期角度挖掘了框架间的互补信息。具体而言，我们提出了一个混合令牌注意模块，该模块将光流和图像信息从正交方向混合在一起，自适应地突出了关键的光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期提示，我们开发了长期的跨框架注意模块（LCFA），该模块有助于当前框架基于多框架代币推断出显着对象。此外，我们通过重新标记Davis和DavSod数据集来标记两个分配的数据集P-Davis和P-Davsod。六个基准数据集的实验说明了我们的方法优于先前的最先进的弱监督方法，甚至与某些完全监督的方法相当。源代码和数据集可用。

快速MRI旨在通过部分观察到的测量结果重建高保真图像。最近已经看到了使用深度学习的快速MRI的旺盛发展。同时，新颖的深度学习范式，例如基于变压器的模型，在自然语言处理中快速增长，并由于其出色的性能而迅速开发用于计算机视觉和医学图像分析。然而，由于变压器的复杂性，快速MRI的应用可能并不直接。主要障碍是自我发项层的计算成本（这是变压器的核心部分）对于高分辨率MRI输入而言可能是昂贵的。在这项研究中，我们提出了一种新的变压器体系结构，用于求解快速MRI，该架构将转移的Windows变压器与U-NET耦合，以降低网络的复杂性。我们将注意力集中在解释我们的重建模型的解释性上。我们从经验上证明，我们的方法在快速MRI任务上始终如一地达到卓越的性能。此外，与最先进的变压器模型相比，我们的方法在揭示解释性的同时具有更少的网络参数。该代码可在https://github.com/ayanglab/sdaut上公开获取。

视觉变压器（VIT）正在改变对象检测方法的景观。 VIT的自然使用方法是用基于变压器的骨干替换基于CNN的骨干，该主链很简单有效，其价格为推理带来了可观的计算负担。更微妙的用法是DEDR家族，它消除了对物体检测中许多手工设计的组件的需求，但引入了一个解码器，要求超长时间进行融合。结果，基于变压器的对象检测不能在大规模应用中占上风。为了克服这些问题，我们提出了一种新型的无解码器基于完全变压器（DFFT）对象检测器，这是第一次在训练和推理阶段达到高效率。我们通过居中两个切入点来简化反对检测到仅编码单级锚点的密集预测问题：1）消除训练感知的解码器，并利用两个强的编码器来保留单层特征映射预测的准确性； 2）探索具有有限的计算资源的检测任务的低级语义特征。特别是，我们设计了一种新型的轻巧的面向检测的变压器主链，该主链有效地捕获了基于良好的消融研究的丰富语义的低级特征。 MS Coco基准测试的广泛实验表明，DFFT_SMALL的表现优于2.5％AP，计算成本降低28％，$ 10 \ $ 10 \乘以$ 10 \乘以$较少的培训时期。与尖端的基于锚的探测器视网膜相比，DFFT_SMALL获得了超过5.5％的AP增益，同时降低了70％的计算成本。

我们提出了对形式文件的任意查询的价值检索，以减少处理表格的人力努力。与以前的方法不同，仅解决一个固定的字段项，我们的方法基于对表单的布局和语义的理解，预测任意查询的目标值。为了进一步提高模型性能，我们提出了一种简单的文档语言建模（SimpleDLM）策略，以提高对大型模型预培训的文档理解。实验结果表明，我们的方法显着优于我们的基线，而SimpleDLM进一步提高了我们的价值检索的性能约为17 \％F1分数与最先进的预训练方法相比。代码将公开可用。

已经证明了对比学习适合学习句子嵌入，可以显着提高语义文本相似性（STS）任务。最近，大型对比学习模型，例如句子T5倾向于学到更强大的句子嵌入。虽然有效，但由于计算资源或时间成本限制，这种大型型号很难在线服务。为了解决这个问题，通常采用知识蒸馏（KD），这可以将大型“教师”模型压缩成一个小的“学生”模型，但通常会遭受一些性能损失。在这里，我们提出了一个增强的KD框架，称为蒸馏 - 对比度（迪斯科）。所提出的迪斯科框架首先利用KD将大句子嵌入模型的能力转移到大型未标记数据的小学生模型，然后在标记的训练数据上具有对比学习的学生模型。对于迪斯科舞厅的KD进程，我们进一步提出了对比的知识蒸馏（CKD），以增强教师模型培训，KD和学生模型的一致性，这可能会提高迅速学习的表现。 7 STS基准测试的广泛实验表明，使用所提出的迪斯科和CKD培训的学生模型很少或甚至没有性能损失，并且始终如一地优于相同参数大小的相应对应物。令人惊讶的是，我们的110米学生模型甚至可以优于最新的最新（SOTA）模型，即句子T5（11B），只有1％的参数。

尽管对象检测方面取得了很大进展，但由于实例级边界盒注释所需的巨大人性化，大多数现有方法都仅限于一小一少量的对象类别。为了减轻问题，最近的开放词汇和零射击检测方法试图检测培训期间未见的对象类别。但是，这些方法仍然依赖于一组基类上手动提供的边界盒注释。我们提出了一个开放的词汇检测框架，可以在没有手动提供边界盒注释的情况下培训。我们的方法通过利用预先训练的视觉语言模型的本地化能力来实现这一目标，并产生可直接用于训练对象探测器的伪边界盒标签。 Coco，Pascal VOC，Objects365和LVIS的实验结果证明了我们方法的有效性。具体而言，我们的方法优于使用人类注释的边界箱训练的最先进（SOTA），即使我们的培训源未配备手动边界盒标签，也可以在COCO新型类别上用3％AP培训。在利用手动边界箱标签作为基线时，我们的方法主要超过8％的AP。

文本跟踪是在视频中跟踪多个文本，并为每个文本构造轨迹。现有方法通过利用逐个检测帧工作，即，检测每个帧中的文本实例，并在连续帧中的相应文本实例中检测到文本实例。我们认为，这种范式的跟踪准确性在更复杂的场景中严重限制，例如，由于行为模糊等，未错过的文本实例的错误检测文本轨迹的突破。此外，具有类似外观的不同TextInstances很容易混淆，导致文本实例的错误关联。为此，在本文中推出了一种新的时空互补文本跟踪模型。我们利用暹罗互补的模型来充分利用时间维度中的TextInstances的连续性特征，从而有效地解除了对文本实例的检测失去了检测，因此是每个文本轨迹的完整性。我们进一步通过文本相似度学习网络进一步整合了文本实例的语义提示和文本实例的视觉提示，该网络通过文本相似度学习网络提供了在具有类似外观的特性实例的存在中提供了高辨别力，因此避免了它们之间的误解。我们的方法在几个公共基准上实现了最先进的性能。在https://github.com/lsabrinax/videotextscm中提供的源代码。